自我模型是一种过程，例如动物或机器等代理商学会创建自己动态的预测模型。一旦被捕获，这种自模型就可以允许代理使用自我模型在内部计划和评估各种潜在行为，而不是使用昂贵的物理实验。在这里，我们量化了这种自模型对机器人的复杂性的好处。我们发现与直接学习基线相比，机器人拥有的自由度数量与自模型的附加值之间的R2 = 0.90相关性。这一结果可能有助于激发日益复杂的机器人系统中的自我建模，并阐明动物和人类自我模型的起源，并最终自我意识。

仿真是用于创建控制策略和测试各种物理参数的机器人技术的重要步骤。 Soft Robotics是一个领域，由于可变形材料组件的非线性以及其他创新性且通常是复杂的物理特性而引起了独特的物理挑战，以模拟其主题。由于使用传统技术模拟柔软和异质物体的计算成本，刚性机器人模拟器不太适合模拟软机器人。因此，许多工程师必须构建自己为系统量身定制的一次性模拟器，或使用具有降低性能的现有模拟器。为了促进这项激动人心的技术的开发，这项工作为各种软机器人提供了交互式，准确和多功能的模拟器。我们的开源3D仿真引擎Cronos与可变形和刚性对象的超快速性能的质量弹簧模型平行。我们的方法适用于多种非线性材料构型，包括高变形性，体积致动或异质刚度。这种多功能性提供了在单个机器人模拟中自由混合材料和几何成分的能力。通过利用非线性胡克恩质量弹簧系统的灵活性和可扩展性，该框架通过高度并行模型模拟柔软而刚性的对象，以实现近实时速度。我们描述了有效的GPU CUDA实施，我们证明了该实施是为了在消费级GPU卡上实现每秒超过10亿个元素的计算。通过将结果与Euler-Bernoulli光束理论，固有频率预测和软结构在大变形下的软结构进行比较来验证系统的动态物理准确性。

在过去的几十年中，出现了一种趋势，指出在可移动，可编程和可转换机制中利用结构不稳定性。受钢制发夹的启发，我们将面板组件与可靠的结构相结合，并使用半刚性塑料板建造合规的拍打机构，并将其安装在束缚的气动软机器人鱼和无螺旋螺旋式的电动机驱动器上，以展示它的前所未有的优势。设计规则是根据理论和验证提出的。观察到与参考相比，气动鱼的游泳速度提高了两倍，对Untether Fish的进一步研究表明，对于不固定的兼容的游泳运动员，可损坏的速度为2.03 BL/S（43.6 cm/s），优于先前报告的最快的，其幅度为194％。这项工作可能预示着下一代符合下一代机器人技术的结构革命。

惯性测量单元（IMU）在机器人研究中无处不在。它为机器人提供了姿势信息，以实现平衡和导航。但是，人类和动物可以在没有精确的方向或位置值的情况下感知其身体在环境中的运动。这种互动固有地涉及感知和动作之间的快速反馈回路。这项工作提出了一种端到端方法，该方法使用高维视觉观察和动作命令来训练视觉自模型进行腿部运动。视觉自模型学习机器人身体运动与地面纹理之间的空间关系从图像序列变化。我们证明机器人可以利用视觉自模型来实现机器人在训练过程中看不见的现实环境中的各种运动任务。通过我们提出的方法，机器人可以在没有IMU的情况下或在没有GPS或弱地磁场的环境中进行运动，例如该市的室内和Urban Canyons。

所有物理定律都被描述为状态变量之间的关系，其提供相关系统动态的完整和非冗余描述。然而，尽管计算功率和AI的普及，但识别隐藏状态变量本身的过程已经抵制了自动化。用于建模物理现象的大多数数据驱动方法仍然假设观察到的数据流已经对应于相关状态变量。关键挑战是仅给予高维观察数据，从头开始识别可能的状态变量集。在这里，我们提出了一种新的原理，用于确定观察到的系统可能具有多少状态变量，以及这些变量可以直接来自视频流。我们展示了使用各种物理动态系统的视频录制的这种方法的有效性，从弹性双摆到火焰。如果没有任何相关的物理知识，我们的算法发现观察到的动态的内在尺寸，并识别候选州变量集。我们建议这种方法可以帮助促进对越来越复杂的系统的理解，预测和控制。项目网站是：https://www.cs.columbia.edu/~bchen/nebural-tate-variables

内部计算模型的物理体是机器人和动物的能力来规划和控制行动的基础。这些“自我模型”允许机器人考虑多种可能的未来行动的结果，而不会在物理现实中尝试。最近的完全数据驱动自建模中的进展使机器能够直接从任务 - 不可行的交互数据学习自己的前瞻性运动学。然而，前进kinema \ -tics模型只能预测形态的有限方面，例如关节和肿块的最终效果或速度的位置。一个关键的挑战是模拟整个形态和运动学，而无需先验知识的形态的哪些方面与未来的任务相关。在这里，我们建议，而不是直接建模前瞻性，更有用的自我建模形式是一个可以回答空间占用查询的形式，而是在机器人的状态下调节空间占用疑问。这种查询驱动的自模型在空间域中是连续的，内存高效，完全可分辨：运动感知。在物理实验中，我们展示了视觉自我模型是如何准确到工作空间的百分比，使机器人能够执行各种运动规划和控制任务。视觉自我建模还可以让机器人从真实世界损坏中检测，本地化和恢复，从而提高机器弹性。我们的项目网站是：https://robot-morphology.cs.columbia.edu/

Many deep neural networks trained on natural images exhibit a curious phenomenon in common: on the first layer they learn features similar to Gabor filters and color blobs. Such first-layer features appear not to be specific to a particular dataset or task, but general in that they are applicable to many datasets and tasks. Features must eventually transition from general to specific by the last layer of the network, but this transition has not been studied extensively. In this paper we experimentally quantify the generality versus specificity of neurons in each layer of a deep convolutional neural network and report a few surprising results. Transferability is negatively affected by two distinct issues: (1) the specialization of higher layer neurons to their original task at the expense of performance on the target task, which was expected, and (2) optimization difficulties related to splitting networks between co-adapted neurons, which was not expected. In an example network trained on ImageNet, we demonstrate that either of these two issues may dominate, depending on whether features are transferred from the bottom, middle, or top of the network. We also document that the transferability of features decreases as the distance between the base task and target task increases, but that transferring features even from distant tasks can be better than using random features. A final surprising result is that initializing a network with transferred features from almost any number of layers can produce a boost to generalization that lingers even after fine-tuning to the target dataset.

我们提出了深斑视觉探光仪（DPVO），这是一种新的单眼视觉探光度（VO）的深度学习系统。DPVO在单个RTX-3090 GPU上仅使用4GB存储器以2x-5X实时速度运行时，是准确且健壮的。我们对标准基准测试进行评估，并以准确性和速度均优于所有先前的工作（经典或学习）。代码可在https://github.com/princeton-vl/dpvo上找到。

部署的监督机器学习模型使预测与世界相互作用。这种现象称为Perdomo等人的表演预测。 （ICML 2020）。了解这种预测的影响以及设计工具，是一个持续的挑战，以控制这种影响。我们提出了一种理论框架，其中目标群体对部署分类器的响应被建模为分类器的函数和群体的当前状态（分布）。我们向两次再培训算法的平衡点表示必要和充分的条件，重复风险最小化和Lazier变体。此外，收敛在最佳分类器附近。因此，我们概括了Perdomo等人的结果。，其表现框架不承担任何对目标人群状态的依赖。我们的模型捕获的特定现象是在不同速率下获取信息和资源的独特群体能够响应最新的部署分类器。我们理论上和经验研究这种现象。